- 云计算时代,如何保障数据安全?
在现代运营中,云服务变得至关重要,提供了可扩展性、灵活性和成本效益。然而,这种对云服务的日益依赖也带来了大量的安全问题。本文将研究在确保云计算环境中的数据保护方面遇到的挑战,同时探讨克服这些挑战和加强安全措施的程序。
陶然 · 2024-05-16 16:37 - 从T+1到分钟级,爱奇艺数据湖应用及升级实践
上图展示了爱奇艺的数据业务链路。数据中台的主要职责是制定数据标准,集成来自用户、业务和合作方的数据。通过规范和系统,数据中台对数据进行综合管理和治理,确保数据安全,并为上层业务提供服务支撑。
陶然 · 2024-05-16 14:02 - Aurora荣登Top500新榜,跻身百亿亿次超级计算机俱乐部
据悉,Intel与HPE-Cray联合打造的超级计算机Aurora的运算速度日前得到了Top500组织的正式认可,已经超越了百亿亿次(EFlop/s)的里程碑。根据日前在汉堡举行的ISC 2024年会上发布的最新Top500榜单,Aurora的高性能LINPACK(HPL)基准运算速度为每秒1.012 exaFLOPS。
陶然 · 2024-05-16 10:14 - KubeAI大模型推理加速实践|得物技术
最近我们在生产环境批量部署了大模型专用推理集群,并成功让包括70B在内的大模型推理速度提升50%,大幅缩减部署成本,稳定应用于生产环境。本文基于我们在部署大模型推理集群时的一些经验,分享一些有效提升大模型的推理速度方法。最后,我们在结尾处推荐了几个经过我们评测且表现优异的大模型推理框架。
陶然 · 2024-05-16 09:42 - 中台过气、微服务回归单体,DDD的意义何在?
十年过去了,中台已经过气,微服务回归单体也一度成为技术圈讨论的热点话题,曾经神坛上云遮雾绕的 DDD 在今天看来是否还有讨论的意义?在过去一两年的实践中,笔者对 DDD 有了更深的体会,本文将阐述我的一些浅见,如果有理解不到位的地方,也希望同学们一起讨论。
陶然 · 2024-05-15 16:57 - Elasticsearch 在滴滴的应用与实践
滴滴 ES 发展至今,承接了公司绝大部分端上文本检索、少部分日志场景和向量检索场景,包括地图 POI 检索、订单检索、客服、内搜及把脉日志 ELK 场景等。滴滴 ES 在2020年由2.X升级到7.6.0,近几年围绕保稳定、控成本、提效能和优生态这几个方向持续探索和改进,本文会围绕这几个方向展开介绍。
陶然 · 2024-05-15 11:13 - 哔哩哔哩直播通用榜单系统实践
榜单遍布B站直播相关业务的各个角落,直播打赏、直播间互动、付费玩法、互动玩法、活动、主播PK、语聊房、人气主播排名、高价值用户排名、增值集卡、up主充电等等,在这众多的业务场景中,我们能看到各种各样的榜单。
陶然 · 2024-05-14 14:28 - 上云下云怎么选?这些常犯的错误给出了答案
据思杰(Citrix)今年对350名实施云计算战略的IT领导者的调查,94%的受访者在过去三年中参与过云计算遣返项目。曾几何时,以低成本、高敏捷性闻名的云还是现代架构设计的热门选项,为何如今“下云”又成了不少公司相继实践的新趋势?
陶然 · 2024-05-14 10:29 - 播放全链路压测实践之路
播放链路是爱奇艺最重要的业务,链路稳定性极其重要,随着爱奇艺用户的不断增长和热播剧集的推广,播放链路往往面临着难以预估的用户流量的突增,考验着链路中各个服务系统的稳定性和性能,这也直接影响着大量用户的观影体验,实施全链路压测已经成为重要且必要的课题。
陶然 · 2024-05-13 13:45 - 百度推荐资源冷启动实践
百度 feed 推荐是一个月活数亿的综合信息流推荐平台。该平台涵盖了图文、视频、动态、小程序、问答等多种内容类型。它不仅提供类似于单列或双列的点选式推荐,还包括视频沉浸式等多种推荐形式。同时,推荐系统是一个多利益方的系统,不仅仅包含 C 端用户体验。
陶然 · 2024-05-13 11:17 - 多域图大模型在百度推荐系统的实践与思考
图是一种描述复杂数据的常用语言。常见的图结构包括:社交网络、分子结构、知识图谱、商业广告、地图等,其中推荐系统和商业广告是大家更为熟悉的场景。
陶然 · 2024-05-11 14:15 - 腾讯PCG搜广推机器学习框架GPU性能优化实践
本次分享的主题是腾讯 PCG 搜广推机器学习框架 GPU 性能优化实践。主要介绍:1. 为什么 GPU 推荐模型训练框架是刚需;2. GPU 推荐模型训练框架怎么做才最高效;3. 未来展望。
陶然 · 2024-05-10 15:20 - DDD在大众点评交易系统演进中的应用
本文整理自美团技术沙龙第73期《基于领域驱动设计(DDD)的架构演进和实践》,主要介绍了DDD的核心概念、常见的设计思路,并结合DDD介绍大众点评交易系统的演进过程,最后做了一些总结和思考。希望这些内容能够对大家有所帮助或启发。
陶然 · 2024-05-10 09:31 - 火山引擎ByteHouse:如何为OLAP设计高性能向量检索能力?
不仅仅是LLM,向量检索也早已在OLAP引擎中应用,用来提升非结构化数据的分析和检索能力。ByteHouse是火山引擎推出的云原生数据仓库,近期推出高性能向量检索能力,本篇将结合ByteHouse团队对向量数据库行业和技术的前沿观察,详细解读OLAP引擎如何建设高性能的向量检索能力。
陶然 · 2024-05-09 16:47 - Twitter如何改进4000亿事件实时处理架构?
Twitter每日需实时处理高达4000亿的事件,并生成PB级的数据。这些数据主要来源于分布式数据库、Kafka以及Twitter事件总线等多种事件源。接下来,我们将深入探讨Twitter在事件处理方面的演变,具体包括以下方面:
陶然 · 2024-05-09 13:57 - NVIDIA Omniverse平台打开数字孪生新视界
作为一个颠覆性的平台,NVIDIA Omniverse不仅提供了强大的模拟和实时渲染能力,更通过广泛的集成和扩展性,为数字孪生应用开辟了全新的可能。今天,让我们一起走进这个充满无限可能的新视界,探索NVIDIA Omniverse平台如何为数字孪生技术带来革命性的变革。
陶然 · 2024-05-08 17:56 - 浅谈现代消息队列与云存储
讲述消息系统在现代化演进中软硬一体化,百万队列,分级存储等诸多竞争力特性的诞生和落地效果。探讨业界领先的 Shared-Log 存储计算分离,FFM与协程,RDMA 传输,列式存储等技术,将消息向流的领域延伸。
陶然 · 2024-05-08 10:53 - 戴尔液冷:为AI这颗“种子”注入可持续发展动力
本期,我们有幸采访到了戴尔科技集团大中华区信息基础架构解决方案事业部资深总监席与琛,跟席老师一起畅聊了关于液冷服务器的技术趋势、机遇挑战、创新产品等多个方向,分享了戴尔科技在液冷服务器方面的最新进展。
陶然 · 2024-05-08 10:03 - OPPO下一代大数据AI一体架构实践
云厂商用存储吸引用户,进而提供上层 SaaS 服务。云原生弹性计算架构可提高调度效率,实现资源的自动弹性伸缩,优化资源利用。本文将展示OPPO 下一代大数据 AI 一体架构在功能云上的实践,希望为大家带来启发。
陶然 · 2024-05-07 14:45 - 得物质量管理体系的建设与应用
质量保障是一门基于软件测试的系统化工程,遵循渐进式的发展规律。通过因地制宜地制定落地策略,设计场景方案,获取试验结果,并加以循环往复。最终,在每一位得物测试工程师的共同努力下,积累出一套适应得物技术的质量保障方法论,即本文介绍的得物质量管理体系。
陶然 · 2024-05-07 10:08